import requests
from bs4 import BeautifulSoup

#前置：使用Requests 获取URL的response
url = "http://www.techlabplt.com:8080/BD-PC/priceList"
resp = requests.get(url)
resp.encoding = 'UTF-8'
'''
使用BS4解析数据,并输出
'''
#1.把页面源代码交给BeautifulSoup进行处理，生成BS对象并指定html解析器
pageHtml = BeautifulSoup(resp.text, "html.parser")
#2.获取html内的div，div的class为tbl-body。里面包含着需要爬取的数据
tableDiv = pageHtml.find("div", attrs={"class": "tbl-body"})
#3.获取所有的tr
dataDiv = tableDiv.findAll("tr")
#4.删除第一个表头数据
del(dataDiv[0])
#5新建命名为data.txt的文本文件并写入表头信息
saveFile = open("D:\pycharm community\lab\data.txt", 'w', encoding='utf-8')
saveFile.write('大类,小类,名称,最低价,平均价,最高价,规格,来源,单位,更新日期\n')
#6.循环遍历每一行的数据
for data in dataDiv:
    #得到每一行中的每一列
    oneData = data.findAll("td")
    #输出：存储为文本文件内
saveFile.write(oneData[0].text + ',' + oneData[1].text + ','
+ oneData[2].text + ',' + oneData[3].text + ','
+ oneData[4].text + ',' + oneData[5].text + ','
+ oneData[6].text + ',' + oneData[7].text + ','
+ oneData[8].text + ',' + oneData[9].text + '\n')

saveFile.close()

